Chiếc thủy phi cơ này được phát triển từ kiểu máy bay tiêm kích danh tiếng Mitsubishi A6M "Zero", nhằm mục đích hỗ trợ cho các chiến dịch đổ bộ và phòng thủ các căn cứ biệt lập. Nó được dựa trên khung của phiên bản A6M-2 Kiểu 11, với đuôi được cải tiến và bổ sung các phao nổi. Chiếc máy bay này là sản phẩm tinh thần của Shinobu Mitsutake, kỹ sư trưởng hãng Nakajima, và Atsushi Tajima, một trong những nhà thiết kế của công ty. Có tổng cộng 327 chiếc được chế tạo, kể cả chiếc nguyên mẫu ban đầu.

Thật không may cho các phi công, phao nổi chính và các phao phụ hai bên cánh trang bị cho chiếc A6M2-N đã làm suy giảm tính năng bay của nó đến khoảng 20%, đủ để cho Rufe thường không theo kịp ngay cả những chiếc máy bay tiêm kích Đồng Minh thế hệ ban đầu. Tuy nhiên, chiếc Rufe không hẳn đã là một ý niệm lố bịch như thoạt nghỉ; vì dù sao chiếc máy bay tiêm kích Supermarine Spitfire cũng là một kiểu cải biến từ một thiết kế thủy phi cơ mà trong thực tế từng giữ kỷ lục thế giới về tốc độ bay trong một thời gian. Dù sao, cấu trúc nhẹ yếu hơn của chiếc Zero, vốn dùng để bù đắp cho kiểu động cơ Nakajima Sakae tương đối không có hiệu quả so với động cơ Rolls-Royce Merlin, đã không phù hợp cho khái niệm một chiếc thủy phi cơ.